//爬虫工具哈哈哈

var superagent = require('superagent')
var http = require('http')
var filterChapters = require('./filterChapters')
var cheerio = require('cheerio')

module.exports = {
  getdata: async (ctx, next) => {
    var data = []
    await get().then(res => {
      console.log(res)
      data = res
    })
    ctx.body = data
  }
}

function get() {
  // 用 superagent 去抓取 https://cnodejs.org/ 的内容
  return new Promise((resolve, reject) => {
    superagent.get('https://cnodejs.org/')
      .end(function (err, sres) {
        // 常规的错误处理
        if (err) {
          return next(err);
        }
        // sres.text 里面存储着网页的 html 内容，将它传给 cheerio.load 之后
        // 就可以得到一个实现了 jquery 接口的变量，我们习惯性地将它命名为 `$`
        // 剩下就都是 jquery 的内容了
        var items = []
        var $ = cheerio.load(sres.text);
        $('#topic_list .topic_title').each(function (idx, element) {
          var $element = $(element);
          items.push({
            title: $element.attr('title'),
            href: $element.attr('href')
          });
        });
        resolve(items)
      })
  })
}